爱因斯坦的家族：
1879年3月14日，爱因斯坦出生在德意志帝国符腾堡王国乌尔姆的一个世俗阿什肯纳兹犹太人家庭。。父亲赫尔曼当过销售员和工程师；母亲保利娜·科赫从小受到良好教育，钢琴造诣深厚。1880年，举家迁往慕尼黑，爱因斯坦的父亲与叔叔在那里经营一间电气公司，专门设计与制造直流电器。
爱因斯坦一家是不遵循犹太教规的阿什肯纳兹犹太人。爱因斯坦学习说话的速度比较缓慢，父母因此很担心，甚至曾经找过医生看诊。他2岁后才学会使用字词，并且养成一种奇怪习惯，就是每当他想要说话之前，他都会先小声的对自己说几遍，直到觉得满意，才会大声说出来。家人都很担心，怕他以后会有学习障碍。爱因斯坦的童年没有什么朋友，因此与小一岁的妹妹马娅（Maja）感情非常融洽，马娅甚至可以说是他一辈子的挚友。1939年爱因斯坦邀请马娅移民美国，住在新泽西州普林斯顿默瑟县的住所。马娅在那里与爱因斯坦共度了愉快的时光，直到1946年中风卧床为止。1951年因动脉硬化在普林斯顿去世，比爱因斯坦早了四年。
摄于1886年，童年的爱因斯坦与妹妹马娅
在4岁或5岁时的某天，父亲送了一只指南针给卧病在床的爱因斯坦，他深深地被磁针展现出的奇异行为所迷住，这成为他以后对物理学产生浓厚兴趣的原因之一。大约在那时期，他开始学习拉小提琴。爱因斯坦5岁时进入一所天主教小学就读。8岁时，他转学到卢伊特波尔德高级文理中学（Luitpold-Gymnasium；后来改名为阿尔伯特·爱因斯坦高级文理中学），这学校很注重数学、科学、拉丁文与希腊文。在这里，他获得7年良好的教育。
爱因斯坦的父亲所经营的电器公司，因无法与大公司竞争而被迫于1894年关闭，全家随后搬至意大利帕维亚，只有爱因斯坦继续留在慕尼黑完成学业。虽然他住在远房亲戚家里，但他心里仍有被丢弃的感觉。严格专制的校风与机械式的学习方式令他难以忍受。那年年底，他借口身体不适，毅然决然地离开学校，搬去帕维亚与家人会合。这样，他也可以避免从军。后来，他决然放弃德国国籍，成为无国籍人。在意大利的时期，年仅16岁的他撰写了有生以来第一篇理论物理论文，标题为《论在磁场里以太状态的研究》。
年仅16岁的爱因斯坦参加了瑞士苏黎世联邦理工学院的1895年入学考试，这时的他比大多数考生至少要小两岁。虽然他在数理科部分得到高分，但没有通过考试的文科部分。理工学院院长建议他先完成高中学业，因此他进入瑞士阿劳的阿劳州立中学读书，住在教授约斯特·温特勒的家里。几个月后，他爱上了温特勒的女儿玛莉。隔年9月，他成功通过瑞士高中毕业考试，大部分学科都获得优良成绩，特别是在物理与数学两个学科，都得到了最高分6分。
爱因斯坦的父亲很希望爱因斯坦能够继承他的电机工程事业，但爱因斯坦对这不感兴趣，他认为对他而言这是大材小用。1896年，年仅17岁的爱因斯坦获准进入苏黎世联邦理工学院师范系数理科学习物理。他在那里遇到未来妻子米列娃·马利奇。同班六名学生中，米列娃是唯一女性，她比爱因斯坦大三岁。爱因斯坦与米列娃在物理方面有共同的兴趣与目标，久而久之渐渐擦出爱情火花。1900年，爱因斯坦获得教学文凭，平均分数为4.9，是全班五名学生中第四名；米列娃的平均分数为4.0，是最后一名，校方不准她毕业，必须留级一年。有些人认为，米列娃与爱因斯坦合作写出著名的1905年论文，但物理历史学者经过仔细研究后，找不到任何证明她做出实质贡献的依据。
爱因斯坦的婚姻与家庭：
爱因斯坦与第一任妻子米列娃，1912年
爱因斯坦与第二任妻子爱尔莎
爱因斯坦与米列娃的一封早期往来信件于1987年被发现与发表，信中透露他们在婚前曾有一名称为莉泽尔·爱因斯坦的女儿。。1902年初，莉泽尔诞生在塞尔维亚诺威萨米列娃的娘家。米列娃并没有带着莉泽尔回瑞士，莉泽尔的命运至今仍旧未知。爱因斯坦可能从未见过莉泽尔。在1903年9月一封写给米列娃的信里，爱因斯坦最后一次提到她，内容暗示女婴可能被收养或死于猩红热。
爱因斯坦和米列娃在1903年1月结婚。婚后生了两个儿子，大儿子汉斯·爱因斯坦于1904年5月在瑞士伯尔尼出生。二儿子爱德华·爱因斯坦于1910年7月在瑞士苏黎世出生。4年后，爱因斯坦任聘为德国柏林大学教授，一家人又再搬回德国柏林。由于夫妻感情不好，米列娃带着两个儿子到苏黎世居住，爱因斯坦仍旧留在柏林。
第一次世界大战结束后不久，他俩已分居5年，但婚姻终旧无法挽回，他们正式于1919年2月14日离婚。尽管有报道指出，他为了离婚把光电效应的诺贝尔奖金全部给了米列娃，但是爱因斯坦与妻子和孩子间的信件表明大部分奖金被他用来在美国投资了，其中很多都在大萧条中成为了泡沫。，二儿子爱德华对西格蒙德·佛洛依德的精神分析有兴趣，20岁时精神崩溃，医生诊断为思觉失调，母亲长期照顾他。母亲百年后，他被送进精神病院生活，直到1965年过世。
爱因斯坦和米列娃的婚姻并不快乐。爱因斯坦曾经在1910年写信给他读中学时的女友玛莉·温特勒，在这封于2015年被公开的信里，爱因斯坦写到他的婚姻状况：“每一分钟空闲时间，我都以诚挚的爱想到你；我现在感受到只有男人能够感受到的不快乐。”那时，米列娃正怀有二儿子爱德华。
爱因斯坦的第二任妻子爱尔莎·爱因斯坦是他的表姐，在父系方面，他们都是同一位曾祖父的后代，在母系方面，他们都是同一位外祖父的后代。他们在1919年6月2日结婚。1933年，为了逃避纳粹德国，他们移民到美国，居住在普林斯顿。两年后，爱尔莎被诊断出患有心脏与肾脏疾病，必须卧床休息。她的病情迅速恶化，并于1936年过世。1935年，他的继女玛戈（Margot）将他介绍给玛格丽塔（Margarita Konenkova），之后两人坠入恋爱。一位俄国间谍专家指认玛格丽塔是俄国间谍，但这说法尚未被历史学者证实。
爱因斯坦在1900年毕业，没能留校担任助教，接下来两年时间都没能找到教职。1901年获得瑞士国籍，由于健康因素，他没有被征召入伍当兵。1902年在大学同学马塞尔·格罗斯曼的父亲协助下，成为伯尔尼瑞士专利局的助理鉴定员，从事电磁发明专利申请的技术鉴定工作。1903年成为正式职员。
爱因斯坦在专利局的工作很多都是与电信号传递、机电时间的同步化这类技术问题有关，这两类技术问题也时常会明显地出现在爱因斯坦的思想实验里，而这些思想实验最终导致爱因斯坦作出关于光的性质与时空之间的基础关联的大胆结论。
他利用业余时间开展科学研究，并且和在伯尔尼遇到的几位朋友组成讨论小组，自嘲地取名为“奥林匹亚学院”。他们时常定期聚集在一起讨论科学和哲学，共同阅读昂利·庞加莱、恩斯特·马赫和大卫·休谟的著作，他的科学哲学的发展因此深受影响。